Ngày 28 tháng 1 năm 2008, Michael Hogan của Vanity Fair phỏng vấn Ezra Koenig về tiêu đề của bài hát và ý nghĩa của bài hát. Koenig cho biết lần đầu tiên anh bắt gặp phải đấu phẩy Oxford (dấu phẩy được sử dụng trước từ 'và' ở cuối danh sách) khi tham gia nhóm Facebook trường đại học Columbia được gọi là Students for the Preservation of the Oxford Comma. Ý tưởng cho bài hát đến vài tháng sau khi Koenig đang ngồi ở một cây đàn piano trong ngôi nhà của cha mẹ anh. Anh bắt đầu "viết bài hát và điều đầu tiên chạy ra là 'Who gives a fuck about an Oxford comma?'". Anh phát biểu rằng bài hát "is more about not giving a fuck than about Oxford commas."[1]

Lời bài hát của bài hát còn nhắc đến rapper Lil Jon (trong câu "Lil Jon, he always tells the truth"). Lil Jon đã tặng cho Vampire Weekend một hộp nước nước ngọt crunk để cảm ơn cho việc đó,[2] và tình bạn giữa Vampire Weekend và Lil Jon có kết quả là Lil Jon trở thành khách mời trong video "Giving Up the Gun". Bài hát cũng đề cập đến Dharamsala, nơi hoạt động Đạt-lại Lạt-ma thứ 14 ("the highest lama"), người là Đạt-lại Lạt-ma hiện tại.